增量学习是一种范式，可以通过流数据大规模构建模型构建和更新。对于端到端的自动语音识别（ASR）任务，缺乏人类注释的标签，以及需要保留模型建设政策的隐私政策，这使其成为艰巨的挑战。受这些挑战的激励，在本文中，我们使用基于云的框架为生产系统展示了从隐私保存自动语音识别（ILASR）的增量学习中的见解。我们的意思是，通过保留隐私性，对没有人类注释的短暂数据使用。该系统是用于增量/持续学习的生产LevelAsASR模型的一步，该模型提供了接近实时测试床，以在云中进行端到端ASR实验，同时遵守保留隐私的政策。我们表明，即使在没有人类注释的标签的情况下，拟议的系统也可以在六个月的新时间内显着改善生产模型（3％），而在增量学习中，较弱的监督和大批量大小。在新时期，这种改进比测试集的新单词和短语相比为20％。我们在ASR的同时进一步探讨了拥有有效的教师模型和使用大批量大小的实用性的同时，以保护隐私的增量方式展示了模型构建的有效性。
translated by 谷歌翻译
在本文中，我们提出了一种方法来定量分析不同训练标签误差对基于RNN-T的影响。结果显示删除误差比RNN-T训练数据中的替换和插入标签误差更有害。我们还在RNN-T上检查了标签错误影响方法，并发现所有方法在某种程度上减轻了标签错误导致的劣化，但它们无法消除在没有标签的情况下培训的模型之间的性能差距错误。基于分析结果，我们建议设计用于RNN-T的数据管道，优先减少删除标签误差。我们还发现，尽管存在标签错误缓解方法，但确保了高质量的培训标签仍然很重要。
translated by 谷歌翻译